Digital Signal Processing 2 Filtering Week3

课程主页：https://www.coursera.org/learn/dsp2

这一讲介绍了Stochastic and Adaptive Signal Processing。

平稳过程

宽平稳过程(WSS)的期望方差满足如下条件：

$$\begin{aligned} \mathrm{E}[X[n]] &=m_{X}, & & n \in \mathbb{Z} \\ \mathrm{E}\left[\left(X[n]-m_{X}\right)^{2}\right] &=\sigma_{X}^{2}, & & n \in \mathbb{Z} \end{aligned}$$

自相关函数满足如下条件：

$$\begin{array}{ll} R_{X}[l, k]=r_{X}[l-k], & l, k \in \mathbb{Z} \\ K_{X}[l, k]=k_{X}[l-k], & l, k \in \mathbb{Z} \end{array}$$

如果$X[n],Y[n]$都是宽平稳过程，那么互相关函数满足如下条件：

$$R_{X Y}[l, k]=r_{X Y}[l-k]$$

功率谱密度(PSD)

定义

$$X_{M}\left(e^{j \omega}\right)=\sum_{n=-M}^{M} x[n] e^{-j \omega n}$$

功率谱密度定义为

$$P\left(e^{j \omega}\right)=\lim _{M \rightarrow \infty}\left\{\frac{1}{2 M+1}\left|X_{M}\left(e^{j \omega}\right)\right|^{2}\right\}$$

考虑平稳过程的PSD，首先我们有

$$\left|X_{M}\left(e^{j \omega}\right)\right|^{2}=\left|\sum_{n=-M}^{M} X[n] e^{-j \omega n}\right|^{2}$$

所以

$$\begin{aligned} \mathrm{E}\left[\left|X_{M}\left(e^{j \omega}\right)\right|^{2}\right] &=\mathrm{E}\left[X_{M}^{*}\left(e^{j \omega}\right) X_{M}\left(e^{j \omega}\right)\right] \\ &=\mathrm{E}\left[\sum_{n=-M}^{M} X[n] e^{j \omega n} \sum_{m=-M}^{M} X[m] e^{-j \omega m}\right] \\ &=\sum_{n=-M}^{M} \sum_{m=-M}^{M} \mathrm{E}[X[n] X[m]] e^{-j \omega(m-n)} \\ &=\sum_{n=-M}^{M} \sum_{m=-M}^{M} r_{X}[m-n] e^{-j \omega(m-n)}\\ &=\sum_{k=-2 M}^{2 M}(2 M+1-|k|) r_{X}[k] e^{-j \omega k} \end{aligned}$$

所以

$$\begin{aligned} P_{X}\left(e^{j \omega}\right) &=\lim _{M \rightarrow \infty}\left\{\frac{1}{2 M+1} \mathrm{E}\left[\left|X_{M}\left(e^{j \omega}\right)\right|^{2}\right]\right\} \\ &=\lim _{M \rightarrow \infty} \sum_{k=-2 M}^{2 M}\left(1-\frac{|k|}{2 M+1}\right)\left(r_{X}[k] e^{-j \omega k}\right) \\ &=\lim _{M \rightarrow \infty} \sum_{k=-\infty}^{\infty} w_{k}(M) r_{X}[k] e^{-j \omega k} \end{aligned}$$

其中

$$w_{k}(M)=\left\{\begin{array}{ll} 1-\frac{|k|}{2 M+1} & |k| \leq 2 M \\ 0 & |k|>2 M \end{array}\right.$$

显然有

$$\lim _{M \rightarrow \infty} w_{k}(M)=1$$

所以

$$P_{X}\left(e^{j \omega}\right)=\sum_{k=-\infty}^{\infty} r_{X}[k] e^{-j \omega k}$$

类似的，如果$X[n],Y[n]$是WSS，那么

$$P_{X Y}\left(e^{j \omega}\right)=\sum_{k=-\infty}^{\infty} r_{X Y}[k] e^{-j \omega k}$$

白噪声

白噪声定义如下

$$r_{W}[n]=\sigma_{W}^{2} \delta[n]$$

功率谱密度为

$$P_{W}\left(e^{j \omega}\right)=\sigma_{W}^{2}$$

随机信号处理

考虑LTI系统，脉冲响应为$h[n]$，那么

$$Y[n]=\sum_{k=-\infty}^{\infty} h[k] X[n-k]$$

时域分析

$$\begin{aligned} m_{Y[n]} &=\mathrm{E}[Y[n]]=\mathrm{E}\left[\sum_{k=-\infty}^{\infty} h[k] X[n-k]\right] \\ &=\sum_{k=-\infty}^{\infty} h[k] \mathrm{E}[X[n-k]] \\ &=\sum_{k=-\infty}^{\infty} h[k] m_{X[n-k]} \end{aligned}$$

如果$X[n]$是WSS，那么

$$m_{Y}=m_{X} \sum_{k=-\infty}^{\infty} h[k]=m_{X} H\left(e^{j 0}\right)$$

可以证明，此时$Y[n]$也是WSS，这里计算其自相关函数：

$$\begin{aligned} R_Y[n,m] &=E\left[\sum_{k=-\infty}^{\infty} h[k] X[n-k] \sum_{i=-\infty}^{\infty} h[i] X[m-i] \right]\\ &= \sum_{k=-\infty}^{\infty}\sum_{i=-\infty}^{\infty} h[k]h[i] E[X[n-k]X[m-i]]\\ &= \sum_{k=-\infty}^{\infty}\sum_{i=-\infty}^{\infty} h[k]h[i] r_X[n-m+k-i] \end{aligned}$$

这说明

$$R_{Y}[n, m]=r_{Y}[n-m]$$

并且

$$r_{Y}[n]=\sum_{k=-\infty}^{\infty} \sum_{i=-\infty}^{\infty} h[k] h[i] r_{Y}[n-i+k]$$

利用卷积的表示可得

$$r_{Y}[n]=h[n] * h[-n] * r_{X}[n]$$

类似的，我们有

$$r_{X Y}[n]=h[n] * r_{X}[n]$$

频域分析

利用之前的两个公式不难得到如下恒等式：

$$\begin{aligned} P_{Y}\left(e^{j \omega}\right)&=\left|H\left(e^{j \omega}\right)\right|^{2} P_{X}\left(e^{j \omega}\right)\\ P_{X Y}\left(e^{j \omega}\right)&=H\left(e^{j \omega}\right) P_{X}\left(e^{j \omega}\right) \end{aligned}$$

例子

考虑如下系统：

输入：

$$X[n]=S[n]+W[n]$$

其中$S[n]$是无噪声信号，$W[n]$是噪声，通过滤波器$h[n]$，我们得到$\hat S[n]$，我们希望$\hat S[n]$尽可能接近$S[n]$。（假设滤波器为LTI系统）

注意到我们有

$$\hat{S}[n]=h[n] * X[n]=\sum_{k=0}^{N-1} h[k]X[n-k]$$

记

$$\Delta[n]=S[n]-\hat{S}[n]$$

我们的目标是最小化

$$\frac 12 \mathrm E[\Delta^2[n]]$$

求偏导可得

$$\begin{aligned} \frac{\partial \frac 12 \mathrm E[\Delta^2[n]]}{\partial h[i]} &=- \mathrm E[\Delta[n] X[n-i] ]\\ &= - \mathrm E[(S[n]-\hat{S}[n]) X[n-i] ]\\ &= \mathrm E[\hat{S}[n] X[n-i] ] - \mathrm E[{S}[n] X[n-i] ]\\ &=\mathrm E[\sum_{k=0}^{N-1} h[k]X[n-k] X[n-i] ]- \mathrm E[{S}[n] X[n-i] ]\\ &= \sum_{k=0}^{N-1}h[k]r_X[i-k]- r_{SX}[i]\\ &=0 \end{aligned}$$

写成矩阵形式为

$$\left[\begin{array}{cccc} r_{X}[0] & r_{X}[1] & \ldots & r_{X}[N-1] \\ r_{X}[1] & r_{X}[0] & \ldots & r_{X}[N-2] \\ r_{X}[2] & r_{X}[1] & \ldots & r_{X}[N-3] \\ \vdots & \vdots & \ddots & \vdots \\ r_{X}[N-1] & r_{X}[N-2] & \ldots & r_{X}[0] \end{array}\right]\left[\begin{array}{c} h[0] \\ h[1] \\ h[2] \\ \vdots \\ h[N-1] \end{array}\right]=\left[\begin{array}{c} r_{SX}[0] \\ r_{SX}[1] \\ r_{SX}[2] \\ \vdots \\ r_{SX}[N-1] \end{array}\right]$$